#! /bin/bash

# model=vit_base_patch16_224_in21k_mol
# model_ckp=./released_models/ViT-B_16.npz
# model_type=vit_mol
# tuning_mode=mol_cls
# rank=8
# alpha=8
# num_experts=3

# # ################## #
# #       LB-loss      #
# # ################## #
# CUDA_VISIBLE_DEVICES=7 python train_model_mol.py --dataset cifar --task vtab --lr 0.013 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --top_k 2 --poststr mol_cls_hir

# CUDA_VISIBLE_DEVICES=7 python train_model_mol.py --dataset cifar --task vtab --lr 0.013 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --top_k 3 --poststr mol_cls_hir

# CUDA_VISIBLE_DEVICES=7 python train_model_mol.py --dataset cifar --task vtab --lr 0.013 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --top_k 4 --poststr mol_cls_hir

# CUDA_VISIBLE_DEVICES=7 python train_model_mol.py --dataset cifar --task vtab --lr 0.013 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --top_k 5 --poststr mol_cls_hir

# CUDA_VISIBLE_DEVICES=7 python train_model_mol.py --dataset cifar --task vtab --lr 0.013 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --top_k 6 --poststr mol_cls_hir

model=vit_base_patch16_224_in21k_mol
model_ckp=./released_models/ViT-B_16.npz
model_type=vit_mol
tuning_mode=mol
rank=8
alpha=8
num_experts=64246


# ################## #
#       LB-loss      #
# ################## #
CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --top_k 2 --poststr mol_hir_ctr

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
    --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 3 --poststr mol_hir_ctr

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
    --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 4 --poststr mol_hir_ctr

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
    --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 5 --poststr mol_hir_ctr

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
    --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 6 --poststr mol_hir_ctr

# model=vit_base_patch16_224_in21k_mol
# model_ckp=./released_models/ViT-B_16.npz
# model_type=vit_mol
# tuning_mode=mol
# rank=8
# alpha=8
# num_experts=136

# # ################## #
# #       LB-loss      #
# # ################## #
# CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 2 --poststr mol_hir --ctr_loss

# CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 3 --poststr mol_hir --ctr_loss

# CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 4 --poststr mol_hir --ctr_loss

# CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 5 --poststr mol_hir --ctr_loss

# CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.01 --wd 1.0 --dpr 0.1 \
#     --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
#     --rank $rank --alpha $alpha --num_experts $num_experts --epochs 100 \
#     --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --top_k 6 --poststr mol_hir --ctr_loss
